ChatGPT ment sur des résultats scientifiques disent des chercheurs

Le programme de génération de texte ChatGPT d'OpenAI, désormais très populaire, est capable de propager de nombreuses erreurs sur des études scientifiques, d'où la nécessité de disposer d'alternatives open-source dont le fonctionnement peut être examiné, selon une étude publiée cette semaine dans la prestigieuse revue Nature.

"Actuellement, presque toutes les technologies d'IA conversationnelle sont des produits propriété d'un petit nombre de grandes entreprises technologiques qui disposent des ressources nécessaires pour la technologie de l'IA", écrivent l'auteur principal Eva A. M. van Dis, chercheuse postdoctorale et psychologue à l'Amsterdam UMC, département de psychiatrie, Université d'Amsterdam, Pays-Bas.

En raison des erreurs propagés par ces programmes, poursuivent-ils, "l'un des problèmes les plus immédiats pour la communauté des chercheurs est le manque de transparence."

"Pour contrer l'opacité, l'IA open source doit être une priorité" 

"Pour contrer cette opacité, le développement de l'IA open source doit être une priorité."

OpenAI, la startup de San Francisco qui a développé ChatGPT, et qui est financée par Microsoft, n'a pas publié le code source de ChatGPT. Les grands modèles de langage, la classe d'IA générative qui a précédé ChatGPT, en particulier le GPT-3 d'OpenAI, introduit en 2020, ne sont pas non plus accompagnés de code open source.

Dans l'article de Nature, intitulé "ChatGPT : cinq priorités pour la recherche", les auteurs écrivent qu'il existe un très grand danger que "l'utilisation de l'IA conversationnelle pour la recherche spécialisée soit susceptible d'introduire des inexactitudes, des biais et du plagiat", ajoutant que "les chercheurs qui utilisent ChatGPT risquent d'être induits en erreur par des informations fausses ou biaisées, et de les incorporer dans leurs réflexions et leurs articles."

Un exemple qui permet d'objectiver les erreurs de ChatGPT

Les auteurs citent leur propre expérience d'utilisation de ChatGPT avec "une série de questions qui nécessitaient une compréhension approfondie de la littérature" de la psychiatrie. Ils ont constaté que ChatGPT "générait souvent des textes faux et trompeurs".

"Par exemple, lorsque nous avons demandé 'combien de patients souffrant de dépression connaissent une rechute après le traitement ?', il a généré un texte trop général soutenant que les effets du traitement sont généralement durables. Cependant, de nombreuses études de grande qualité montrent que les effets du traitement s'estompent et que le risque de rechute varie de 29 % à 51 % au cours de la première année suivant la fin du traitement."

Les auteurs ne plaident pas pour l'abandon des grands modèles de langage cependant. Ils suggèrent plutôt que "l'accent devrait être mis sur la gestion des risques".

Garder "les humains dans la boucle"

Ils suggèrent un certain nombre de mesures pour gérer ces risques, y compris de nombreuses façons de garder "les humains dans la boucle". Les éditeurs doivent notamment s'assurer "d'adopter des politiques explicites qui sensibilisent à l'utilisation de l'IA conversationnelle et exigent la transparence".

Mais cela n'est pas suffisant, suggère van Dis. La prolifération des grands modèles de langage propriétaires est un danger. "Les ensembles d'entraînement sous-jacents et les LLM pour ChatGPT et ses prédécesseurs ne sont pas accessibles au public, et les entreprises technologiques pourraient dissimuler le fonctionnement interne de leurs IA conversationnelles."

Un effort important est nécessaire de la part d'entités extérieures au secteur privé pour promouvoir le code source ouvert comme alternative :

Pour contrer cette opacité, il faut donner la priorité au développement et à la mise en œuvre de technologies d'IA à code open source. Les organisations non commerciales telles que les universités ne disposent généralement pas des ressources informatiques et financières nécessaires pour suivre le rythme rapide du développement de l'IA. Nous préconisons donc que les universités, les ONG, les organisations telles que les Nations unies - ainsi que les géants de la technologie - investissent considérablement dans des projets indépendants à but non lucratif. Cela contribuera à développer des technologies d'IA à code open source, transparentes et contrôlées de manière démoratique.

Une question qui n'est pas posée dans l'article est de savoir si un modèle à code open source sera en mesure de résoudre le problème notoire de la "boîte noire" de l'intelligence artificielle. Le mode de fonctionnement exact des réseaux neuronaux profonds - ceux qui comportent de nombreuses couches de paramètres ou de poids réglables - reste un mystère, même pour les praticiens du deep learning. Par conséquent, tout objectif de transparence devra préciser ce qui sera appris par l'ouverture d'un modèle et de ses sources de données.

Source : "ZDNet.com"